592. Гуськова Е.А., Орлов А.И. Интервальная линейная парная регрессия (обобщающая статья). - Журнал «Заводская лаборатория». 2005. Т.71. No.3. С.57-63.

ИНТЕРВАЛЬНАЯ ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
(Обобщающая статья)
 
Е.А. Гуськова, А.И.Орлов

	С позиций асимптотической математической статистики интервальных данных рассматриваются оценки метода наименьших квадратов в линейной модели. Исходные данные заданы не числами, а интервалами, длина которых мала. Вычисляются нотны оценок параметров (максимально возможные отклонения, вызванными метрологическими причинами). Расчеты проведены для случая парной регрессии.

	Статистическое исследование зависимостей  - одна из наиболее важных задач, которые возникают  в различных областях науки и техники. Под словами "исследование зависимостей" имеется в виду выявление и описание связи между исследуемыми переменными на основании результатов статистических наблюдений. Мощные инструменты для решения такого рода задач разработаны в прикладной статистике. Примерами могут служить регрессионный, факторный, дисперсионный, корреляционный анализы.  
	Однако многие реальные ситуации характеризуются наличием данных интервального типа. При этом исследователь не знает точных значений измеренных данных, а знает только границы интервалов, содержащих истинные значения. Такие задачи могут возникать, например, если при проведении экспериментов средства измерения имеют погрешности, причем экспериментатору известны допустимые границы этих погрешностей (например, из технических паспортов средств измерения).
	Основная цель настоящей работы – демонстрация подхода асимптотической математической статистики интервальных данных к оценке параметров линейной регрессионной модели методом наименьших квадратов.  

Статистика интервальных данных
	Процесс измерения, какой бы физической природы он ни был, обычно не дает однозначный результат, т.е. истинная характеристика не совпадает с результатом измерения. Поэтому целесообразно представлять измеренные данные в интервальном виде. А именно, результатом измерения какой-либо величины Х являются два числа: ХH— нижняя граница и ХB — верхняя граница. При этом ХИСТ  [ХH, ХB], где ХИСТ - истинное значение измеряемой величины. Таким образом, результат измерения можно записать как X = [ХH, ХB]. Интервальное число X может быть представлено другим способом, а именно, X = [Хm, Δx], где ХH = Хm - Δx, ХH = Хm + Δx . Здесь Хm - центр интервала (не обязательно совпадающий с ХИСТ), а Δx - максимально возможная погрешность измерения. 
	Математическая статистика интервальных данных - перспективная и быстро развивающаяся область статистических исследований. Развитие идей статистики интервальных данных продолжается уже более 20 лет. Проводятся дискуссии .[1] и международные конференции [2]. Сформированы два основных подхода. Первый подход развивается одной из ведущих научных школ в области статистики интервальных данных, возглавляемой проф. А.П. Вощининым и активно работающей с конца 70-х годов [3-7]. Второй подход, начавшийся с разработки ГОСТ 11.011-83, – асимптотическая математическая статистика интервальных данных [8-14]. К ней относится настоящая работа. К настоящему времени в статистике интервальных данных изучены проблемы регрессионного анализа, планирования эксперимента, сравнения альтернатив и принятия решений в условиях интервальной неопределенности и др.
	Сформулируем (в соответствии с [8]) основные идеи асимптотической математической статистики интервальных данных. Пусть статистика интересует выборка х = (х1, х2, ... , хn), хi  R1, описывающая реальность (выборку рассматриваем как многомерный вектор). Однако из-за неизбежных погрешностей измерения ему известна лишь выборка
y = (y1, y2, ..., yn) , yi  R1, yi = хi + ei , i = 1,2, …, n.
Здесь ei - погрешность измерения i-го значения интересующей статистика случайной величины. Введем вектор е = (e1, e2 ,..., en)
	В асимптотической математической статистике интервальных данных на погрешности измерения обычно накладывается одно из двух ограничений:
|ei| < Δ, i = 1,2,…, n,
(ограничение на предельную абсолютную погрешность), либо
|ei| < δ|xi|, i = 1,2, …, n
(ограничение на предельную относительную погрешность), где Δ и δ малы. 
	Пусть статистические выводы основаны на статистике
f(y) = f(y1, y2, ..., yn) , f: Rn → R1 ,
тогда при достаточно малых ei с точностью до бесконечно малых более высокого порядка о(|ei|) метрологическая погрешность равна
.
В асимптотической математической статистике интервальных данных учет метрологических погрешностей проводится по максимуму возможных отклонений. Показателем влияния вектора е погрешностей является т.н. нотна, т.е. максимально возможное отклонение

где максимум берется по всем возможным погрешностям (совокупность возможных погрешностей описывается некоторым множеством Е). В более математизированном изложении вместо max следовало бы поставить sup. 
	Тогда для ограничений на предельную абсолютную погрешность нотна с точностью до бесконечно малых более высокого порядка имеет вид 

Для ограничений на предельную относительную погрешность справедлив аналогичный результат: с точностью до бесконечно малых более высокого порядка нотна равна

	На основе понятия нотны, как показано в работах [8-14], в асимптотической математической статистике интервальных данных построены различные алгоритмы оценивания и проверки гипотез, решения задач многомерного статистического анализа. Приведем примеры полученных результатов. Пусть в классической математико-статистической теории статистика f(х) используется для оценивания параметра а. Пусть она  является асимптотически нормальной (при безграничном росте объема выборки n) с математическим ожиданием а и дисперсией σ2/n, причем
,
где символ М означает операцию взятия математического ожидания. Предположим, что для интервальных данных точечное оценивание параметров проводится по тем же алгоритмам, что и в классическом случае, т.е. на основе статистики f(y). Доверительный интервал для оцениваемого параметра а, соответствующий доверительной вероятности α, расширяется по сравнению с классикой и имеет вид
[aH(α) – Nf (y); aB(α) + Nf (y)],		
где aH(α) и aB(α) - нижняя и верхняя доверительные границы, найденные по классическим правилам, а Nf(y) - значение нотны, вычисленное по доступным статистику данным y. 
	Если обозначить длину соответствующих интервалов как d1=aB(α)- aH(α) и d2= d1+2Nf (y), то из формулы (1) следуют несколько важных для практики выводов:
	1. Если при данном объеме выборки n значение d1Nf (y), то увеличение объема выборки нецелесообразно, т.к. это не влияет ширину интервала d2.
	2. Если при данном объеме выборки d1 << Nf (y), то доминирующим фактором неопределенности являются нестатистические погрешности и фактором случайности можно пренебречь.
	3. Если при данном объеме выборки d1 >> Nf (y), то доминирующим фактором неопределенности являются статистические погрешности, а учет нотны нецелесообразен.
	Для рассматриваемого случая:

где u(α) - квантиль стандартного нормального распределения порядка (1 + α)/2, а s - оценка  по выборке. В качестве показателя суммарной погрешности в [8-14] использовалась полудлина асимптотического доверительного интервала при u(α) = 1, т.е.

	Из последнего соотношения очевидно, что при Nf (у) ≠ 0 целесообразно увеличивать объем выборки лишь до числа, не большего некоего nрац - рационального объема выборки. В [8-14] использовался "принцип уравнивания погрешностей", выдвинутый в [15], согласно которого целесообразно приравнять погрешности разной природы (метрологической и статистической): 

	Таким образом, рациональный объем выборки позволяет определить тот объем выборки, при достижении которого продолжать наблюдения нецелесообразно. А расчет нотны дает величину максимально возможного отклонения статистики.

Интервальный линейный регрессионный анализ
	Для определения параметров регрессионной модели наиболее часто применяют метод наименьших квадратов. В частности, этот метод широко применяется при анализе и прогнозировании затрат предприятия. 
	Постоянные затраты не зависят от объема выпуска по определению: F = const = b. Зависимость переменных затрат от объема выпуска в простейшем случае описывается линейной функцией: у = ах, где y - суммарный объем переменных затрат (на весь объем выпуска); a - коэффициент пропорциональности (величина переменных затрат на единицу выпуска); х - объем выпуска. В микроэкономической теории затраты – квадратичная или более сложная функция от х. Здесь ограничимся линейной зависимостью.
	Зависимость смешанных (другими словами, суммарных) затрат от объема выпуска можно описать линейной функцией со свободным членом:
у = ах + b,
где y - суммарная величина смешанных затрат; ax - переменная часть смешанных затрат; b - постоянная часть смешанных затрат.
	Вначале обсудим теоретическое обоснование интервального метода наименьших квадратов согласно [12], затем опишем алгоритм построения уравнения регрессии и нахождения нотны.  
	Рассмотрим линейную регрессионную модель 
		(1)
где 	y  - вектор размерности n значений зависимой переменной;
	X – матрица плана (значений независимых переменных) порядка kЧn;
	β -  вектор неизвестных параметров размерности k;
	ε - вектор невязок (погрешностей измерения) размерности n.
Как известно, оценка наименьших квадратов  вектора β имеет вид
		(2)
где штрих – знак транспонирования. В интервальной статистике рассматривают модель, согласно которой X и y известны статистику лишь с некоторой точностью, т.е.
, ,
где Xo и yo - истинные значения переменных, α и γ - неизвестные статистику малые погрешности. 
	Нотна оценки наименьших квадратов  – это вектор, каждая координата которого – максимально возможное отклонение этой координаты изучаемого вектора , вызванное погрешностями α и γ. Таким образом, рассматриваемая нотна – это вектор Nβ = (N1β, N2β, …, Nkβ), где
        (3)
где sup берется по области изменения (α, γ), описанной ниже.
	Вычислим нотну при малых погрешностях α и γ. Имеем 
          (4)
Последний член в (4) есть О, т.е. член более высокого порядка по , чем предыдущие, где  - евклидова норма матрицы , т.е.  есть сумма квадратов всех элементов матрицы  порядка kn. 
	Для нахождения величины  обратимся к известной формуле теории матриц [16]
, 		(5)
где E – единичная матрица, все собственные числа матрицы А по модулю меньше 1. Поскольку , то из (5) вытекает, что 
. 	(6)
Из (4) и (6) следует, что
. 	(7)
Далее с точностью до членов более высокого порядка имеем
.
Наконец, согласно (2) имеем
  (8)
c точностью до членов более высокого порядка по  и . При этом согласно (4)  с точностью до членов более высокого порядка. Последняя формула позволяет изучать чувствительность оценок метода наименьших параметров в зависимости от изменения исходных данных. 
Интервальная линейная парная регрессия
	Дальнейшее развитие идеи изучения чувствительности – расчет нотны. Проведем его на примере линейной парной регрессии - частного случая многомерного регрессионного анализа, в котором на основе формулы (8) можно легко продвинуться дальше. Модель имеет вид
 i=1, 2, 3, ..., n.      (9)
Она переходит в модель (1), если положить
		(10)
Естественно принять, что погрешности матрицы X имеют вид
.
	Как известно,
,		(11)
Для упрощения обозначений далее опустим пределы суммирования, а затем и индекс суммирования. Это не может привести к недоразумениям, поскольку всюду суммирование проводится по индексу i в интервале от 1 до n. Из формулы (11) вытекает, что
.		(12)
Легко подсчитать, что 
.		(13)
Положим
.
Тогда знаменатель в (12) равен . Из (12) и (13) следует, что 
.	(14)
Из (14) и (11) следует, что 
,		(15)
где 
,
,
.
Наконец, вычисляем основной член в (8):
,	(17)
где 
z1i = xi A+B, z2i = xi B+D, I = 1, 2, … , n.		(18)
	Перейдем к вычислению второго члена с  в (8). Имеем
,		(19)
где 
w1i = nαi,	 w2i = -i Σx,	 i=1, 2, … , n.
Складывая правые части (17) и (19) и умножая на y, получим окончательный вид члена с в (8):
,		(20)
где

		(21)
	Имеем
,
.
	Если ограничения имеют вид
|j|  < λ,	 j=1,2,….n,		(23)
где - максимально возможная погрешность (т.е. предельная абсолютная погрешность), то максимально возможное отклонение оценки  параметра  из-за погрешностей j имеет вид
,		(24)
где производные  заданы формулой (22).
	Из (20), (21) и (23)  следует, что
,		(25)
где F и G определены в (21), а
,		(26)
.		(27)
Вычисление правой части (25) следует проводить по наблюдаемым значениям, поскольку теоретические (истинные) значения неизвестны статистику. По сравнению с расчетами по истинным значениям допускаем ошибки, являющиеся бесконечно малыми более высокого порядка по сравнению с α и γ. Доказательство этого утверждения проводится с помощью теорем о наследовании сходимости [15].
Пример использования интервального регрессионного анализа
	Методы статистики интервальных данных наряду с классическими методами оказываются полезными не только в традиционных статистических задачах, но и во многих других областях, в частности, в экономике и управлении промышленными предприятиями [14, 17]. Пример использования статистики интервальных данных в инвестиционном менеджменте подробно описан в [14]. Перспективы применения статистики интервальных данных в контроллинге проанализированы в [18]. Компьютерный анализ данных и использование статистических методов в информационных системах управления предприятием при решении задач контроллинга обсуждаются в [19]. Рассмотрим практический пример применения в контроллинге интервального регрессионного анализа при анализе и прогнозировании затрат предприятия.
	Пример. Выпуск продукции y зависит от величины суммарных переменных затрат х. Условные исходные данные для предприятия “Омега” приведены в табл. 1. Необходимо построить уравнение регрессии и найти нотну. В данном случае n = 12, k = 2. Зависимость ищется в виде .

Таблица 1. Исходные данные, тыс. руб.
№ п/п	х	y	№ п/п	х	y	
1	15,1	89,0	7	44,3	145,9	
2	16,8	110,8	8	46	151,8	
3	25,0	104,4	9	46,8	153,7	
4	30,7	116,1	10	53,4	161,8	
5	33,2	127,8	11	56,5	175,8	
6	44,2	143,3	12	65,4	193,4	

	Пусть как для х, так и для y максимально возможная погрешность . Можно доказать [12], что указанное значение  допустимо считать малым, поскольку под «малостью» следует понимать малость относительно типовых значений х и y. Построим уравнение регрессии согласно методу наименьших квадратов:

	Оценим максимально возможное изменение (приращение) вектора (a*, b*) оценок параметров линейной зависимости методом наименьших квадратов при изменении исходных данных, когда α и  малы (см. формулу (8) выше). Для этого найдем нотны - максимально возможные изменения координат этого вектора в предположении  и :
Na*(x,y) = 0,87;  Nb*(x,y) = 32,98.
	Найдем доверительные интервалы для параметров a и b согласно [14, п.5.1] при доверительной вероятности 0,95. Для параметра a (т.е. для переменных затрат на единицу выпуска) нижняя доверительная граница , а верхняя - . Доверительный интервал для параметра a с учетом нотны равен [1,595 - 0,87; 2,233 + 0,87] или [0,73; 3,1].   Ширина «классического» доверительного интервала d1=aB(0,95)- aH(0,95) равна 0,638, что несколько меньше, чем нотна 0,87. 
	Для параметра b (т.е. для постоянных затрат) нижняя доверительная граница , а верхняя - . Ширина «классического» доверительного интервала для параметра b* равна 9,62, т.е. почти в 3 раза меньше, чем нотна 32,98. Доверительный интервал для параметра b с учетом нотны равен [58,51 – 32,98; 68,13 + 32,98] или [25,53; 101,12].
	Итак, 

восстановленная зависимость с учетом метрологических и статистических погрешностей имеет вид

	Исходя из погрешностей коэффициентов линейной зависимости, можно указать нижнюю и верхнюю доверительные границы для функции
,	.
Более точно доверительные границы для значения функции в определенной точке можно указать, если найти нотну и статистическую погрешность не для коэффициентов, а непосредственно для значения функции [14, п.5.1].
	Полученные результаты дают возможность оценивать точность прогнозирования с помощью восстановленной зависимости, рассчитывая нижние и верхние границы для значения зависимой переменной. Например, при х=100 нижняя и верхняя границы интервала равны
yн (100)  = (1,914 - 1,187)×100 + 63,32 – 37,79  = 98,23;
yв (100) = (1,914 + 1,187)×100 + 63,32 + 37,79 = 411,21.
	Подведем итоги. К настоящему времени теория и алгоритмы интервального линейного регрессионного анализа достаточно хорошо разработаны, как и методы статистики интервальных данных в целом. На основе асимптотической прикладной математической статистики интервальных данных можно анализировать важные для практики случаи смешанных источников неопределенности и неточности выборочных данных, связанных не только со случайностью, но и с другими факторами неопределенности (ошибки округления и дискретизации, систематические ошибки и др.). При этом если эффект случайной вариабельности изучаемой переменной может быть оценен по выборочным данным, то для нахождения максимального значения нестатистической ошибки, т.е. нотны, может быть использована любая, в том числе экспертная, информация. 
	Представляется необходимым использование интервального регрессионного анализа в различных областях научных и прикладных исследований, прежде всего, в технических, экономических, управленческих разработках. Более этого, по нашему мнению, со временем во все виды статистического программного обеспечения должны быть включены алгоритмы интервальной статистики, "параллельные" обычно используемым в настоящее время алгоритмам прикладной математической статистики. Это позволит в явном виде учесть наличие погрешностей у результатов наблюдений (измерений, испытаний, анализов, опытов).

Литература

1. Дискуссия по анализу интервальных данных // Заводская лаборатория. 1990. Т.56. No.7. С.75-95.
2. Сборник трудов Международной конференции по интервальным и стохастическим методам в науке и технике (ИНТЕРВАЛ-92). Тт. 1,2. - М.: МЭИ, 1992, 216 с. + 152 с.
3. Вощинин А.П. Метод оптимизации объектов по интервальным моделям целевой функции. - М.: МЭИ, 1987. 109 с. 
4. Вощинин А.П., Сотиров Г.Р. Оптимизация в условиях неопределенности. - М.: МЭИ - София: Техника, 1989. 224 с.
5. Вощинин А.П., Акматбеков Р.А. Оптимизация по регрессионным моделям и планирование эксперимента. - Бишкек: Илим, 1991. 164 с.
6. Вощинин А.П. // Заводская лаборатория. 2000. Т.66. № 3. С.51-65. 
7. Вощинин А.П. // Заводская лаборатория. 2002. Т.68. № 1. С. 118-126.
8. Орлов А.И. // Заводская лаборатория. 1990. Т.56. No.7. С.86-89.
9. Орлов А.И. // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. Пермь: Изд-во Пермского государственного университета, 1988. С.45-55.
10. Орлов А.И. // Там же. 1990. С.89-99.
11. Орлов А.И. // Там же. 1991. С.77-86.
12. Орлов А.И. // Там же. 1993. С.149-158.
13. Орлов А.И. // Там же. 1995. С.114-124.
14. Орлов А.И. Эконометрика. – М.: Экзамен, 2002. – 576 с.
15. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
16. Гантмахер Ф.Р. Теория матриц. - М.: Наука, 1966. - 576 с.
17. Орлов А.И., Федосеев В.Н. Менеджмент в техносфере. – М.: Издательский центр “Академия”, 2003. – 384 с.
18. Орлов А.И. // Контроллинг. 2002. №1. С.42-53.
19. Орлов А.И., Гуськова Е.А. // Контроллинг. 2003. №1(5). С.52-59.